SPEAK 4.0 "FRACTAL" C2012-2013) 




"Speak 4.0 FRACTAL es una obra de danza interactiva y un laboratorio abierto cuyo eje creativo y 
conceptual es el fractal como gernerador universal de procesos complejos a partir de núcleos mínimos. 
Buscamos llegara un concepto de danza acorde a esta era, donde sonido, visuales y tecnología interactiva 
se complementen de manera natural con el movimiento, tomando diferentes enfoques 
y metáforas de la idea de fractal en cada una de las áreas expresivas involucradas. " 

Speak es desde sus inicios una obra que busca situarse en el aquí-ahora e incluso apuntar a un 
posible futuro en cuanto al concepto de danza, extendiéndola por medio de nuevos abordajes y 
posibilidades del cuerpo en fusión con la tecnología, y la integración de manera profunda con 
diferentes medios artísticos contemporáneos como son la música electroacústica y la animación 
gráfica en tiempo real. 

Un cuerpo que danza y un cuerpo como interface, que por medio de sensores simples adosados 
a sus extremidades, alimenta con sus micro y macro gestos diferentes paradigmas audiovisuales. 
Para esta versión 4 de Speak estamos experimentando con celulares simples, que la bailarina 
lleva adosados a sus extremidaedes, y que resignificados por medio de la programación de Saez- 
Costa-Kesler, actúan como sensores avanzados e hiper sensibles al movimiento, que luego se 
traducen en paradigmas visuales y sonoros integrados, un cruce de sentidos retroalimentados 
constantemente. 

El primer celular transmite sus datos al músico a partir de los movimientos de las extremidades 
inferiores, quien con esos datos genera y procesa la música. El otro celular capta con una cámara 
los gestos faciales, que a modo de micromovimientos son proyectados y procesados, realizándose 
así una integración total, un cruce de sentidos. 

Los teléfonos celulares devenidos en isntrumentos performáticos interactivos, promueven la 
interacción e integración en tiempo real de los perfomers con todo el sistema escénico y son la 
continuación lógica de nuestra estética y nuestras investigaciones en el campo del arte 
tecnológico. 



Al respecto, creemos que el celular de tipo smartphone (celular inteligente) es quizás el 
paradigma comunicacional contemporáneo de mayor influencia, y SPEAK se planteó desde sus 
inicios como una obra que aborda conceptualmente la comunicación contemporánea. 
El celular contemporáneo, acaparador cada vez de mayor atención para aspectos que van mucho 
más allá de su objetivo inicial de comunicación inalámbrica. Y en ese contexto, son los artistas los 
que se apropian de medios tecnológicos ¡cónicos contemporáneos para resignificarlos 
estéticamente, para crear obra artística junto a ellos, no dejándose obnubilar por ellos sino 
integrándolos como un medio más dentro de la obra. 

Bajo mucha experimentación y discusiones hemos avanzado en distintos tópicos y hoy llegamos a 
la versión 4 de nuestro proyecto en la cual la motivación es la lógica fractal como motor de 
procesos vitales: Lo simple se transforma en complejo. Este paradigma universal lo vemos tanto 
en procesos naturales así como políticos, sociales y culturales: una chispa, una célula, una 
agitación, son suficientes para desencadenar procesos complejos, muchas veces incontrolables e 
indescifrables. 

El tránsito entre lo simple y lo complejo es una actividad que podemos ver en el devenir 
cotidiano: Descartes refiere que un problema complejo puede descomponerse en pequeños 
problemas a modo de eslabones, siendo éste uno de sus pilares en su "Discurso del Método". 
Estas ideas de simple-complejo las trabajamos integralmente en aspectos de la danza, música y 
las visuales, y son el eje integrador, práctico y narrativo de nuestra obra. 

Speak se definirá en esta nueva etapa como un Taller-Laboratorio Artístico / Científico donde 
aspiramos a que se aúne el cuerpo como generador-núcleo de la performance, a través de la 
captación y transformación de sus gestos por medios tecnológicos en uso, las búsquedas de 
nuevos paradigmas estético-artísticos y los conocimientos y prácticas que se dan actualmente en 
la producción de obras de arte. Speak es parte de la eclosión de una nueva forma de aplicación 
de las tecnologías actuales en los campos de la danza, la música y el video que está brindando al 
arte un auténtico sentido interdisciplinario. 

Exploración de nuevos mecanismos sensibles del movimiento en vinculación con el sensado con 
su derivación inmediata en los procesos compositivos y de generación -procesamiento de sonido- 
video que interactuarán con los también nuevos paradigmas audiovisuales generados por Fabricio 
Costa y Fabián Kesler. 

Otro de los dispositivos que incorporamos es el nuevo sensor Kinect (XBOX 360) que permite el 
sensado de varios cuerpos en escena, incluyendo la posición y orientación de brazos y piernas, 
posibilitando y potenciando los recursos expresivos del cuerpo, planteados en nuestra 
investigación anterior. 

A modo de resumen, pretendemos abordar nuevos ejes conceptuales y metafóricos en base a 
nuevas inquietudes e investigaciones, tanto personales como grupales, haciéndolos extensivos 
tanto a la comunidad dancística como de las artes escénicas multimediales en general. 



" SPEAK es una obra de danza-performance interactiva que reflexiona sobre los medios 
comunicacionales contemporáneos, los modos comunicativos interpersonales en los que la danza 

como disciplina aporta desde la configuración de una nueva gestualidad, una gestualidad que 
interactúa y crea nuevas posibilidades para la composición in situ de movimiento: la estetización 

de la gestualidad ergonométrica. 

Llevamos esto a la práctica generando una obra de intercomunicación entre los 3 integrantes. 
Comunicación que se regenera, se actualiza, comunicación viva y escénica por medios artísticos 

que incluyen movimiento, música y video. 

Representamos metafóricamente en SPEAK estos fenómenos contemporáneos comunicacionales 
muchas veces paradójicos, donde una supuesta mayor comunicación resulta en un aislamiento 

cada vez mayor. 

Y es en ese contexto que proponemos conceptos como la TecnoCultura, es decir que la cultura y 
la tecnología no están separados. En consecuencia consideramos que estos fenómenos han 
llevado a la masificación y la ya casi exclusividad de las pantallas y los parlantes tanto para la 

comunicación interpersonal como la social. 

Observamos como estos elementos nos //levan a que la telepresencia, las realidades virtuales 
múltiples y la a va ta riza ció n sean fenómenos que representan en gran parte el tiempo-espacio en 

que vivimos. 

Consideramos que aislar tecnología y cultura es imposible y por eso pretendemos dar relevancia, 
experimentar y reflexionar con estos procesos poniendo en diálogo las herramientas tecnológicas 

conjugadas con el cuerpo. " 



Speak 4.0 FRACTAL se presentó como tal en el Festival Internacional CUERPO DIGITAL en 
Cochabamba, Bolivia. Sus demás presentaciones fueron adapataciones especialmente preparadas 
para sitios y stuaciones particulares y únicas, que detallamos a continuación 

PRESENTACION ESPECIAL DE SPEAK 4.0 FRACTAL en el OBSERVATORIO 

ASTRONOMICO DE LA PLATA 

Dentro el marco de la Bienal de La Plata, SPEAK es invitado a presentarse en el Observatorio Astronómico 
de La Plata, coqueto y centenario edificio, para le cual SPEAK preparó una versión especial DE 4.0 
FRACTAL para ese espacio, adaptando tanto el movimiento como las visuales, y tomando los sonidos de los 
diferentes mecanismos de telescopios y cúpulas. 



SECCION 


PERFO 


VISUALES 


MUSICA 


1) AZAFATA 


AZAFATA 
EXPLICATIVA 
En la escalera + 
video en televisores 


AZAFATA EXPLICATIVA... 
Video azafata 


AZAFATA (playback mas 
Ale. .doblar voz de 
azafata con voz de ale..q 
suenen ambas) 


2) GENERATIVO 
CELULAR (ex embrión) 


LOW LEVEL CON 
CAMARA 

AUTOENFOCANDO 
En banco largo sentada 
Celu sonido: Mínimos 
movimientos para 
generar cambios en el 
sonido. Celu imagen: 
cámara encendida toma 
parates del espacio y de 
mi. 


ALE CON CAMARA 
Generativo: células + 
celular > EMBRION 


PIANO CIRCULAR 
reacciono en base a 
movs. de 

Ale. ..interacción humana 
no con celu ni cámara 
aún en lo q respecta a 
sonido. .PIANO MEDIO Y 
AGUDO 


3) CELULAR MUSICA (ex 
varianza) 


COMPOSICION CON 
CELULAR 

En banco parada. ídem 
celu 1 y 2 


PROCESOS DESDE 
DATOS ENVIADOS POR 
FABIAN 

Varianza = Kinect 
sobretodo. También la 
idea es recibir info de 
sensores, esto lo veo 
con Fabi. > ECLOSION 


ZONAS CELULAR PARA 
ALE. ..ruidos modulados 
3 SECCIONES SONORAS 
DE BASE ALTERNADAS 


4) AUDIOVISION FABRI- 
FABI 


CUASI QUIETUD 
Poses en banco 


Fractales a pleno 
(versión generativa 
mezcladas con 
imágenes y 
fotografías) > 
FRACTALIZACION 


FONDO NOISY MAS 
VIBRAFONO 


5) INDUSTRIAL (ex 
cárcel) 


CELULAR SONORO 

CAOTICO 

En piso 


fractales lineales, ver 
adjuntos.... + plano 
blanco al mover la 
cúpula + grilla símil 
cuadraditos. Esto lo 
haremos en vivo....> 
MATRIX 


SONIDOS 

INDUSTRIALES DEL 
PLANETARIO.. .ale 
habilita volumen en 2 
zonas y procesos en 2 

zonas se suma que yo 

acciono los mecanismos 
analógicos de los 
aparatos 


6) ALEJAN D RITAS NEW 


AURICULARES 

En piso y entre la gente 

Celu cámara a full 


MULTIPLICACIONES DE 
LA CAMARA 
Auriculares: celu 
cámara multiplicadas 
con delay temporal.... 
estoy estudiando 
sumarle otras cositas. 
> DIMENSION 
FRACTAL 


FONDO NOISY MAS 
DEJA VUS DE COSAS Q 
PASARON MAS 
VIBRAFONO GRAVE Y 
MUY GRAVE 


7) FINAL 


AUTISMO CON CELULAR 
GENERANDO MUSICA 
Vuelvo banco o escalera 
a tocar botones del 
celular sonido y 
autofilmarlo 


SATURNOS CON LUPAS 
Final: a pleno con el 
mundo análogico: 
COMUNICACION 
INTERDIMENSIONAL > 
ANALOGICO > DIGITAL 


fabian controla a ale con 
celular sonido en vez de 
joystick 
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PRESENTACION ESPECIAL DE SPEAK 4.0 FRACTAL en el PLANETARIO DE LA PLATA: 



"SPEAK UNIVERSE" 




Nueva versión de la performance SPEAK, preparada especialmente para el Planetario de la ciudad de La 
Plata. Las visuales, los sonidos, la música y la performance en tiempo real generarán un concierto 
cinéstesico entre los artistas y el público. 

Usamos para esta edición el teléfono celular como sensor de movimiento con una aplicación multitouch de 
Android (TuioDroid) y dos proyecciones digitales controladas por el software Moldeo. interactive, sensadas 
por cámaras Kinect. 

Aprovechando los espacios particulares de la estructura del Planetario, se derivan tanto las imágenes, los 
sonidos, así como la performance, resultando en una obra inmersiva y multimedial donde no hay elementos 
ni estructuras previas sino que se libera el espíritu del vivo. 

Respecto a la tecnología, se basa en programaciones propias aplicadas sobre dispositivos simples y 
cotidianos, que en SPEAK 4.0 son dos celulares de los cuales se aprovechan sus capacidades táctiles y de 
sensores de movimiento, resignificados de este modo en instrumentos sonoros y visuales. 
Nuevamente usaremos dos proyecciones digitales para la parte visual. Cada proyección será independiente 
siendo controlada por el software Moldeo. Una de las proyecciones intervendrá el proyector del planetario. 
Dos escalas de proyecciones reproducirán efectos digitales y lumínicos integrando la espacialidad de los 
cuerpos con la ayuda de dispositivos como cámaras Kinect, cámaras webs, sensores de movimiento. 



ZONA 


IMAGEN 


PERFO 


SONIDO 


AZAFATA 






PLAY REASON-ALE OFF-ACEL 
YO OFF 


NAVE 


NAVE ESPACIAL 


ENTRADAS CAMINANDO ALE 
GRABADOR GOTAS - FABIAN 
CAMPANA 


GOTAS MAS CAMPANA 
ESPACIALIZADO 


GALAXIA 


GALAXIA Y ESTRELLAS 


SIGUE CAMINANDO ALE 


SUMA GOTAS POR 
PARLANTES, MAS RUIDO 
GRAVE 


SOLO ALE 


FOCO CIRCULAR EN ELLA MAS 
FONDO 


SOLO ALE 


SONIDO ALE DESDE CELULAR 


KINECT ZONE 


CUERPO SENSADO KINECT 


KINECT ALE 


BAJA VOL ALE. SOLO PERCU 
MALSTROM Y SIGUE GRAVES 


ARGOLLAS 1 


ARGOLLAS MULTIPLICADAS 


ALE SOLO 2 


PIANOS FX: CAMBIOS TEMPO.. 
Y PITCH POR 

ACELERACION. ..SUMA PAD 
CON OSCIL 2 POR ACELER2 


ARGOLLAS 2 TOUCH FABRI 


ARGOLLAS 2 


DUO ALE FABIAN. PARTE 1 
ROBOT REACCION A RUIDOS 
DE FABIAN... PARTE 2 
VIOLENTA (TIPO CARCEL 
ANTERIOR) 


DUO 1: BANDAS DE RUIDO 
FIJAS ON OFF.. MAS ALE EJES 
X-Y 

DUO 2: RUIDOS MODULADOS 
CON ACELERACION Y EJES X-Y 


FINAL 


CIRCULO 


SUAVE. .QUEDA MANO, SE 
ALEJA 


VIBRAFONOS MAS GOTAS 
INICIALES.. .MAS PERCU 
MALSTROM FULL 
CIERRE. ..TERMINA CON 
GOTAS SOLITAS HASTA FIN 
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PRESENTACION ESPECIAL DE SPEAK 4.0 FRACTAL en el EVENTO INTERNACIONAL 



WATER WHEEL" Streaminq Internet Performance - Con participación online: 



SPEAK LIOUID 




"Debería existir una pintura totalmente libre de la dependencia de la figura- el objeto que- como 
la música, no cuenta nada, no lanza una historia, no cuenta un mito. Esa pintura se contenta con 
evocar los reinos incomunicables del espíritu, donde el sueño se convierte en pensamiento, 

donde el trazo se convierte en existencia. " 

Michel Seuphor 

Los procesos creativos mediados por las nuevas tecnologías digitales promueven un amplio 
campo de investigación sobre las prácticas y procedimientos de interacción entre lenguajes de 
diferentes disciplinas, las que confluyen para generar obras en las que intervienen profesionales 
de diversas áreas, performers/bailarines, artistas, programadores, músicos y en general artistas 
de distintas esferas los cuales se conectan para crear piezas complejas producto de los cruces 
interdisciplinarios. Es así como en "Speak" confluimos artistas de diferentes formaciones que a 
través de la performance, como medio de expresión complementada con el uso de nuevas 
tecnologías, nos enfocamos en realizar trabajos que se centran en la experiencia perceptiva, 
sensorial y de reciprocidad. El uso de dispositivos tecnológicos se ve justificado por los procesos 
comunicativos artísticos que conjugan imagen, sonido y performance. 




En otras palabras, es importante recalcar que el uso de estos dispositivos tecnológicos se ve 
justificada por los procesos investigativos y comunicacionales que desarrollamos en torno a su 
uso, a través del cual aspiramos a crear los ambientes y atmósferas que permitan la exploración 
de nuevos modelos comunicativos en donde se conjugan la expresión del cuerpo y su 
procesamiento en tiempo real, a la vez que éste dialoga con la imagen y el sonido. 

A través de la interfaz que propone "Waterwheel" se transmitirá en vivo la instalación de 
"Speak". La instalación podrá ser intervenida por otros dispositivos conectados a la red como 
"Tablets y Smartphones" a través del protocolo de interfaces tangibles: TUIO (TuioDroid para 
sistemas android, TuioPad para sistemas ¡OS). 

Gracias al software Moldeo, un software y una plataforma para el desarrollo de instalaciones 
multimedia interactivas ( www.moldeo.org ) y a Max MSP para construir el sistema interactivo de 
música y sonido (fabiankesler.blogspot.com. ar/p/max-msp. html), la instalación de "Speak" estará 
abierta a ser intervenida por estos dispositivos "touch" con simplemente apuntarlos a una 
dirección de internet, afectando la imagen y el sonido de la instalación. 

La música de esta versión fue compuesta especialmente con diferentes clases de sonidos 
acuáticos con varios procesos sonoros, generando una resultante más naturalista, más 
experimental o más pop de acuerdo a como la gente interactúa sobre Internet con la música 
original tocada y generada por Speak. Los mensajes TUIO generan y modifican el sonido de 
forma aleatoria entonces esta versión de Speak puede ser pensada como una improvisación 
mundial multimedia por presencia virtual. 

El sonido se transmitirá por un "streaming" de sonido mp3 160KB en tiempo real, y se tocarán 
instrumentos-sensores creados a partir de joysticks, celulares y teclados creados por Fabián 
Kesler (fabiankesler.blogspot.com. ar/p/max-msp. html). 
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Es bajo esta mirada que se configura la versión Speak Líquido en donde se utiliza la red de 
Internet como un tejido vivo capaz de transmutar desde un punto remoto del mundo lo que se va 
creando en tiempo real en Buenos Aires. Nos desprendemos de nuestra creación y la dejamos 
viajar a través de Waterwheel para que otros usuarios la intervengan y aporten a este diálogo 
digital interactivo. Una obra que se diluye y se filtra en la red mundial lanzando una señal desde 
un espacio geográfico para fluir hacia el espacio digital y convocar a la comunidad interesada a 
aportar en el resultado final de la obra como proceso en permanente desarrollo. En otras 
palabras Speak Líquido se configura como una versión de la performance que se conforma no 
solo a través de los procesos producidos por sus miembros formales, sino también a través de los 
aportes sensibles que puedan ofrecer los usuarios de Waterwheel en un proceso dinámico de co- 
creación. 



SPEAK 4.0/LIQUID 

Multimedia Technical Specifications 

Performance stage 



f proyector^ 




A) Laptop running Moldeo 

1 ) sensing ihe performer image and movements 

2) receiving TUIO signáis from tho audience (C) 

3) mixing the image oí the live WW Tap. 

4) displaying the final altered visuals by 1).2),3) 

B) Laptop running WaterWheel 
This laptop exclusively streams the live 
performance through WaterWheel 
platform and the live webcam. 

C) Porforroers uslng TUIO APPLICATIONS 

Audience that ha ve access to WW Tap and 
any modern smartphone, can use their touch 
devices to affect the visuals of the performance 



I — ^ A) Laptop running Moldeo j 



Netbook running 
Max MSP used 
for playing and 
processing 
sounds both 
locally and 
remotelv. 



A) Laptop running Moldeo 

Moldeo do the following processes: 

1. Sensing the performer image, body position and movements. 

This is done through the Kinect sensor, image and movement are processed and 
affects the visual effects of the Moldeo canvas. 

2. Receiving TUIO signáis from the audience ( C) ) 

3. Mixing the image of the WW platform. 

Moldeo has an integrated chrome browser that can render into a Moldeo texture 
therefore any webpage can be shown including WW platform. 
The idea is that we will experiment with WaterWheel integration onto Moldeo. 
Moldeo will have his own "crew user" to connect to WW platform, enabling and 
disabling layers from the WW platform. 

4. Display the Moldeo canvas on the screen wall. 
This is done through the 2800 ansi lumens proyector. 
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B) Laptop Running WaterWheel 

WW is the online platform that streams the webcam signal. 

The information to connect via TuioDroid or TuioPad will be available on the side of the WW 
platform, and in the top border as it is shown in the picture below. 




Below we can see as we said in A) 3), we could mix the WaterWheel layers into Moldeo through 
the Moldeo chrome plugin, so the performer can also interact with the crew of the WW platform 
drawings. 




C) The sound and music 

The computer used for the musican with water sound created and processed from scratch wil 
interact with TUIO messages from the audience so the final result is a mix of both of them, 
generating a kind of a remote digital jam.This is the Max MSP témplate specially created for this 
event : 
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ISPEAK LIQUID 
| WATER WHEEL 

I by Fabián Kesler 



I TUIO MESSAGE MONITOR 



IremoveCursor 106. 1. 



I route addCursor 




[if $i1==0 then 1 elseO 



lif $¡1==3 then 1 else 0 1 




I prepend set bgcoior I 
|bgcolor 0.818127 0. 0.128948 1. 





L«J 


[49J 




]J4] 




1 26 | 


LlJ L?9j 



D) Performers using TUIO APPLICATIONS 

Audience of the WW tap who owns ¡OS or Android modern smartphones or tablets are 
able to affect the visuals of the live performance through internet, just installing a simple 
free opensource application and configuring it with the IP displayed on stage. 
For ¡OS devices as iPad or iPhones, an application called TuioPad is available for free. 



©TUIOpad 



V1.0.0 



: 2010 by Mehrrtet Akten A MartJn Kallenfcftnnei 




current oetwork address £ 192 168 1 .38 



automatic landscape portratt 



sene Deríodic updates 
sene full updates 





For Android devices as Samsung Galaxy phones or tablets a similar application called 
TuioDroid is also available for free. 
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T 1 ■ 11:12 


x0=216y0=601 
x1=396y1=233 








Target IPAddress 


|l0.0.2.3 






Target UDP Port 


3333 










Screen Orientation 


Automatic 






Jverbose TUIO 


1 Draw Debug Info 






1 Save Settings 


local IP: 10.0.2.5 















source: TUIOdroid@|1 
TUIO/UDP client: 10 



0.0.2.5 
0.2.3:3333 



TuioPad is an opensource application available in the Apple Store. Check 
https://itunes.apple.com/us/app/tuiopad/id412446962 . 

TuioDroid is an opensource application available in the Google Play Store for Android 
devices. Check https://play.google.com/store/apps/details?id=tuioDroid.impl&hl=es_419 . 
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